From Gradients to Capabilities: Understanding Multi-Teacher On-Policy Distillation
从梯度到能力：理解多教师在线策略蒸馏
🧭 多教师在线蒸馏优化机制 ★ 深度解读
University of Illinois Urbana-Champaign · Princeton University · Westlake University
通过梯度与优化器分析，揭示损失平均、Adam动量、BF16精度和词汇截断如何影响多教师蒸馏的任务性能。
📌 工作参考价值（4 点）
- 多任务/多领域模型融合时，响应长度差异会通过 token 平均隐式改变各任务损失权重；即使显式平衡域权重，域内长度加权仍通过协方差项影响梯度方向。建议在长度差异大的场景下，优先使用响应级平均或引入长度归一化，并监控各任务有效梯度占比。
- Adam 的一阶动量会掩盖不同教师/任务之间的梯度差异，更新方向被历史平均对齐；在线学习或需要快速适应新任务信号时，可尝试使用 SGD 或重置一阶矩，实验显示 SGD 在 PG 损失下四任务均值更高。
- BF16 存储会隐藏大量 FP32 主权重中的小变化（约97% vs 7-11%），导致模型更新看似稀疏，实际并非如此。评估参数变化或稀疏性时，应基于 FP32 master weights，避免被低精度舍入误导。
- top-k 词汇截断虽在梯度方向上与全词汇 KL 高度一致（余弦>0.999），但任务收益取决于损失平均方式；不能仅凭梯度余弦决定是否采用。资源受限时可使用 top-64 交集 KL，但需针对目标任务调整权重。